自我监督的学习允许AI系统使用不需要昂贵的标签的任务从大量数据中学习有效表示。模式崩溃，即为所有输入产生相同表示形式的模型，是许多自我监督学习方法的核心问题，可以使自我监督任务（例如匹配输入的变形变体）无效。在本文中，我们认为，同一输入的替代潜在表示之间信息最大化的直接应用自然解决了崩溃问题并实现了竞争性的经验结果。我们提出了一种自我监督的学习方法Corinfomax，该方法使用了基于二阶统计的共同信息度量，以反映其参数之间的相关性水平。在同一输入的替代表示之间最大化此相关信息度量有两个目的：（1）它通过生成具有非脱位协方差的特征向量来避免崩溃问题； （2）通过增加它们之间的线性依赖性，它在替代表示之间建立了相关性。提出的信息最大化客观的近似简化为基于欧几里得距离的目标函数，该目标函数由特征协方差矩阵的对数确定因素正规化。正则术语是针对特征空间退化的自然障碍。因此，除了避免完全输出崩溃到一个点外，提出的方法还通过鼓励信息在整个特征空间中的传播来防止尺寸崩溃。数值实验表明，相对于最先进的SSL方法，Corinfomax取得更好或竞争性的性能结果。

学习数据背后的因果结构对于改善概括和获得高质量的解释是无价的。我们提出了一个新颖的框架，不变结构学习（ISL），旨在通过利用概括作为指示来改善因果结构发现。 ISL将数据分配到不同的环境中，并通过施加一致性约束来学习一个在不同环境中不变的结构。然后，聚集机制基于图形结构选择最佳分类器，该图形结构与从单个环境中学到的结构相比，更准确地反映了数据中的因果机制。此外，我们将ISL扩展到一个自制的学习环境，在该设置中，准确的因果结构发现不依赖任何标签。这种自我监督的ISL通过迭代设置不同的节点作为目标来利用不变的因果关系。在合成和现实世界数据集上，我们证明了ISL准确地发现因果结构，优于替代方法，并且对具有显着分布变化的数据集产生了卓越的概括。

Semi-supervised anomaly detection is a common problem, as often the datasets containing anomalies are partially labeled. We propose a canonical framework: Semi-supervised Pseudo-labeler Anomaly Detection with Ensembling (SPADE) that isn't limited by the assumption that labeled and unlabeled data come from the same distribution. Indeed, the assumption is often violated in many applications - for example, the labeled data may contain only anomalies unlike unlabeled data, or unlabeled data may contain different types of anomalies, or labeled data may contain only 'easy-to-label' samples. SPADE utilizes an ensemble of one class classifiers as the pseudo-labeler to improve the robustness of pseudo-labeling with distribution mismatch. Partial matching is proposed to automatically select the critical hyper-parameters for pseudo-labeling without validation data, which is crucial with limited labeled data. SPADE shows state-of-the-art semi-supervised anomaly detection performance across a wide range of scenarios with distribution mismatch in both tabular and image domains. In some common real-world settings such as model facing new types of unlabeled anomalies, SPADE outperforms the state-of-the-art alternatives by 5% AUC in average.

自我监督的预审查能够为各种视觉文档理解（VDU）任务产生可转移的表示。但是，尚未研究此类表示在测试时间时适应新分配变化的能力。我们提出了Docta，这是一种用于文档的新型测试时间适应方法，该方法通过掩盖的视觉语言建模来利用交叉模式自我观察学习以及伪标签，以适应\ textit {source}域中学习的模型，以使其{source}域中为一个未标记的\ textit {textit {目标}域在测试时间。我们还使用现有的公共数据集介绍了新的基准测试，用于各种VDU任务，包括实体识别，键值提取和文档视觉问题回答任务，其中Doctta将源模型性能提高到1.79 \％（F1分数），3.43 \％（3.43 \％）（F1得分）和17.68 \％（ANLS得分），同时大大降低了目标数据的校准误差。

现实世界中的时间序列数据集经常违反预测的标准监督学习的假设 - 它们的分布会随着时间的推移而发展，从而使传统的培训和模型选择程序均优化。在本文中，我们提出了一种新颖的方法，即自适应预测（SAF），以修改时间序列预测模型的培训，以通过此类非平稳时间序列数据提高其在预测任务上的性能。 SAF在基于“背景”的预测之前集成了自适应阶段，即在时间后退预测掩盖的输入。这是一种测试时间培训的形式，在执行预测任务之前，在测试样本上会在测试样本上创建一个自我监督的学习问题。通过这种方式，我们的方法可以有效地适应编码表示的分布，从而导致卓越的概括。 SAF可以与任何基于经典的编码器码头架构架构（例如经常性神经网络或基于注意力的体系结构）集成。关于众所周知，众所周知的非统计数据（例如医疗保健和金融）的域中的合成和现实数据集，我们证明了SAF在提高预测准确性方面具有重大好处。

我们提出了一种新颖的培训方法，将规则整合到深度学习中，以规则的优势在推理中控制。具有可控规则表示（DeameCTRL）的深神经网络将规则编码器包含到与基于规则的目标耦合的模型中，从而实现了决策的共享表示。 DeameCTRL对数据类型和模型架构无关。它可以应用于为输入和输出定义的任何规则。 DeameCTRL的关键方面是它不需要再次调节规则强度 - 在推理时，可以基于精度与规则验证比的所需操作点来调整它。在纳入规则的现实域名是关键的 - 例如物理，零售和医疗保健 - 我们展示了DeepCTRL在深度学习教学规则方面的有效性。 DeepCTRL通过显着提高规则验证率，提高了训练型模型的信任和可靠性，同时还提供了下游任务的准确性收益。此外，DeameCtrl还支持新颖的用例，例如数据样本的规则，以及基于数据集之间的共享规则的无监督适应。

异常检测（AD），将异常与正常数据分开，从安全性到医疗保健都有许多范围内的应用程序。尽管大多数以前的作品都被证明对具有完全或部分标记数据的案例有效，但由于标记对此任务特别乏味，因此设置在实践中较不常见。在本文中，我们专注于完全无监督的AD，其中包含正常样本和异常样本的整个培训数据集未标记。为了有效地解决这个问题，我们建议通过使用数据改进过程来提高接受自我监督表示的一类分类的鲁棒性。我们提出的数据完善方法基于单级分类器（OCCS）的集合，每个分类器均经过培训的训练数据子集。随着数据改进的改进，通过自我监督学习学到的表示的表示。我们在具有图像和表格数据的各种无监督的AD任务上演示了我们的方法。 CIFAR-10图像数据的异常比率为10％ /甲状腺表格数据的2.5％异常比率，该方法的表现优于最先进的单级分类器，高于6.3 AUC和12.5平均精度 / 22.9 F1评分。 。

分层结构在最近的视觉变压器中很受欢迎，但是，它们需要复杂的设计和大规模的数据集。在本文中，我们探讨了在非重叠图像块上嵌套基本本地变压器的想法，并以分层方式聚合它们。我们发现块聚合函数在启用跨块非本地信息通信方面发挥着关键作用。此观察导致我们设计简化的架构，该架构需要在原始视觉变压器上更改次要代码。拟议的明智选择的设计的好处是三倍：（1）巢汇聚速度更快，需要更少的培训数据，以实现对图中的良好的概率和小型数据集如CiFAR; （2）在将关键思想扩展到图像生成时，巢导致强大的解码器，这是8美元\时代比以前的基于变压器的发电机更快; （3）我们展示通过我们设计中的这种嵌套层次结构解耦了特征学习和抽象过程，使得能够构建一种新的方法（命名的Gradcat），用于视觉解释学习模型。源代码可用https://github.com/google-research/nested-transformer。

了解黑盒机器学习模型对于广泛采用至关重要。学习全球可解释的模型是一种方法，但是与他们一起实现高性能是具有挑战性的。另一种方法是使用本地解释的模型来解释个人预测。对于本地可解释的建模，已经提出了各种方法，并且确实使用了常用，但是它们的保真度低，即它们的解释不能很好地近似预测。在本文中，我们的目标是推动高保真性的本地解释建模。我们提出了一个新颖的框架，使用实例的亚采样（LIMIS）进行局部解释的建模。 Limis利用策略梯度选择少数实例，并使用这些选定的实例将黑框模型提炼成一个低容量的本地解释模型。培训是通过衡量本地可解释模型的保真度直接获得的奖励来指导的。我们在多个表格数据集上显示了LIMIS接近匹配黑框模型的预测准确性，从忠诚度和预测准确性方面大大优于最先进的本地解释模型。

Diversity Searcher is a tool originally developed to help analyse diversity in news media texts. It relies on a form of automated content analysis and thus rests on prior assumptions and depends on certain design choices related to diversity and fairness. One such design choice is the external knowledge source(s) used. In this article, we discuss implications that these sources can have on the results of content analysis. We compare two data sources that Diversity Searcher has worked with - DBpedia and Wikidata - with respect to their ontological coverage and diversity, and describe implications for the resulting analyses of text corpora. We describe a case study of the relative over- or under-representation of Belgian political parties between 1990 and 2020 in the English-language DBpedia, the Dutch-language DBpedia, and Wikidata, and highlight the many decisions needed with regard to the design of this data analysis and the assumptions behind it, as well as implications from the results. In particular, we came across a staggering over-representation of the political right in the English-language DBpedia.